Стартап NeuroBlade, специализирующийся на разработке решений для ускорения анализа данных, объявил о сотрудничестве с сообществом Velox компании Meta✴ Platforms с целью интеграции ускорителя SQL Processing Unit (SPU) в новый унифицированный фреймворк для работы с данными.

Как отметили в NeuroBlade, полная интеграция SPU NeuroBlade в Velox обеспечивает ускорение обработки данных более чем в 10 раз, помимо трёхкратного повышения производительности, уже достигнутого Velox за счет оптимизации ПО. Цель проекта заключается в том, чтобы дать компаниям возможность эффективно обрабатывать огромные наборы данных, говорится в пресс-релизе.

Источник изображения: NeuroBlade

Элад Сити (Elad Sity), гендиректор и соучредитель NeuroBlade, подчеркнул важность совместных усилий, которые «знаменуют эпоху, когда организации смогут умело управлять растущими объёмами данных, повышать производительность аналитики и получать значительные конкурентные преимущества».

Velox представляет собой унифицированный open source движок, который объединяет различные программные оптимизации в области обработки запросов в единую высокопроизводительную библиотеку, а в будущем и в самостоятельный фреймворк. Velox уже совместим с Presto и Apache Spark. Интеграция SPU NeuroBlade в Velox достигается за счёт новых API Velox, которые позволят произвольно переносить выполнение части запросов на ускоритель.

Как отмечается в пресс-релизе, CPU с трудом справляются с аналитическими запросами, скорость которых превышает 2–3 Гбайт/с, из-за ограничений в обработке данных и сложности запросов. SPU NeuroBlade позволяет решить эту проблему, поскольку предлагает специализированный процессор, который обеспечивает аппаратную обработку сложных запросов и работу с памятью и хранилищем, что позволяет разгрузить CPU и добиться постоянной пропускной способности при обработке больших данных и снизить задержки.

Стартап Databricks, разработчик платформы машинного обучения, анализа и обработки данных, сообщил о проведении раунда финансирования Series I: на развитие привлечено дополнительно $500 млн. Таким образом, на сегодняшний день общий объём инвестиций в эту компанию превысил $4 млрд.

Databricks предоставляет озеро данных, которое предприятия могут использовать для хранения, организации и анализа больших объемов информации. Стартап также помогает заказчикам в развёртывании собственных приложений на базе генеративного ИИ. Компания основана в 2013 году создателями Apache Spark.

Источник изображения: Gabby Jones / Bloomberg

Отмечается, что Databricks быстро наращивает выручку: по итогам II четверти текущего финансового года, которая была закрыта 31 июля, показатель преодолел знаковый рубеж в $1,5 млрд — это более чем на 50 % превосходит прошлогодний результат. В глобальном масштабе решения Databricks применяют свыше 10 тыс. организаций, включая более половину компаний из списка Fortune 500.

Раунд финансирования Series I проведён под руководством T. Rowe Price Associates. В программе также приняли участие Andreessen Horowitz, Baillie Gifford, ClearBridge Investments, Counterpoint Global (Morgan Stanley), Fidelity Management & Research Company, Franklin Templeton, GIC, Octahedron Capital, Tiger Global, Capital One Ventures, Ontario Teachers' Pension Plan и NVIDIA.

Прошлый раунд финансирования Databricks был завершён в 2021 году: тогда стартап получил $1,6 млрд, а его рыночная стоимость достигла $38 млрд. Теперь же капитализация оценивается в $43 млрд при стоимости акций на уровне $73,5.

Минцифры сообщило о скором начале реализации очередного национального проекта «Экономика данных». Как сообщает пресс-служба министерства, проект подготовят до конца текущего года. При этом реализация нового проекта будет продолжаться до 2030 года. Целью проекта станет перевод всей экономики, социальной сферы и органов власти на новый уровень. Это касается решений в области логистики, телемедицины, онлайн-образования и предоставления госуслуг.

Как сообщает «Интерфакс», речь идёт не только о консолидации уже существующих инструментов, применяемых для развития систем ИИ, квантовых технологий и цифровой экономики в целом — необходимо выстроить целостный механизм создания и внедрения новых разработок. Как уточняется, фокус следует сделать на ряде направлений:

• Сбор данных с использованием высокочувствительных датчиков, включая квантовые сенсоры. Такие технологии уже применяются как в промышленности, так и, например, в медицине и системах связи;
• Передача данных и развитие систем связи. Связь должна обеспечиваться в режиме реального времени на больших скоростях — это и отсутствие задержек при передаче информации необходимо для автоматизации транспорта и городской среды вообще;
• Хранение данных в стране должно быть эффективно организовано за счёт развития облачных платформ, ЦОД и собственных вычислительных мощностей, включая квантовые компьютеры;
• Безопасность данных должна быть обеспечена благодаря квантовым технологиям передачи данных и шифрования, способным противостоять любым угрозам, в том числе атакам с использованием квантовых компьютеров;
• Стандарты и протоколы работы с данными необходимы во всех IT-сферах, как для обеспечения безопасности, так и для того, чтобы регламентировать хранение персональных данных, в том числе с использованием квантовой криптографии;
• Наконец, внимание будет уделяться обработке и анализу данных и созданию репозиториев открытого кода, причём анализ данных необходимо проводить на основе ИИ-алгоритмов, используя отечественное программное обеспечение. Для этого потребуется развитие отечественных сервисов и платформ для совместной работы программистов со всего мира, в первую очередь из России.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Как сообщают в Минцифры, новый национальный проект в конечном счёте направлен на повышение качества жизни граждан за счёт роста качества работы властей, роста экономики и развития социальной сферы. Какие средства будут выделены на реализацию проекта и какие именно направления будут развиваться особенно активно, будет объявлено позже.

Рынок больших данных в России при базовом сценарии развития вырастет до 319 млрд руб. к концу 2024 года, полагают в Ассоциации участников рынка больших данных (АБД, объединяет «Яндекс», VK, «Ростелеком», «Мегафон» и др.). АБД разработала стратегию развития ИТ-рынка, описывающую пять различных сценариев. Об этом сообщает «Коммерсантъ».

Наилучший сценарий (рост рынка до 441 млрд руб.) предполагает появление страхования от утечек персональных данных для защиты их субъектов. Целевой подразумевает рост рынка со 170 млрд руб. в 2021 году до 319 млрд руб. в 2024 году. В этом случае рынок должен быть «приоритетным для государства», а услуги и решения в области Big Data — распространяться на другие сегменты, где нужно стимулировать спрос и заниматься импортозамещением ПО.

Изображение: Wynn Pointaux / Pixabay

Если же, пишет «Коммерсантъ», государство будет вести политику «мобилизационной экономики» в области Big Data (монополизация и возложение госзаданий на крупные компании), то граждане будут готовы делиться минимумом информации. При таком сценарии рынок больших данных в России составит всего 189 млрд руб. к концу 2024 года.

Стратегия обсуждается с администрацией президента, Минцифры, Минэкономики, Минпромторгом, Госдумой и Советом федерации. В Минцифры «Коммерсанту» сообщили, что представили АБД договорились с бизнесом о разработке совместного проекта по подготовке ИТ-аналитики, чтобы заполнить нишу отраслевой аналитики, которая образовалась после ухода с рынка ряда западных агентств.

Сбер разработал графовую платформу для работы с большими данными и встроил ее в бизнес-процессы корпоративного и розничного кредитования. В компании уверяют, что это позволит эффективнее принимать решения о выдаче кредитов и их параметрах.

Платформа состоит из восьми сервисов. «Лаборатория графов» — это интерактивный инструмент для исследования графов и разработки новых графовых моделей (ML), который позволяет пользователям загружать свои данные и строить собственные витрины. Сервис «Графовые расчеты» помогает выполнять массовые регулярные расчеты на больших графах для исполнения графовых моделей. «Единый граф клиентских связей» (ЕГКС) объединяет актуальные витрины данных о полной связанности между собой всех клиентов банка.

Источник изображения: Kevin Ku/unsplash.com

Еще один сервис — «Онлайн-доступ к графу» — работает в режиме «вопрос – ответ». Например, он поможет выяснить, есть ли признаки фрода (мошеннических операций) в окружении клиента. «Визуализация графов» отвечает за доступ к интерактивному просмотру графов и выявляет скрытые взаимосвязи между компаниями и физлицами, а сервис поиск неявных связей Link Prediction — за неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.

Среди сервисов также есть «Графовые нейронные сети» (GNN) — это готовый пайплайн обучения Graph Convolutional Network на базе PyTorch Geometric по собственным таргетам. «Встраиваемая графовая база данных» подходит для нестандартных решений. В ядре платформы Сбера находится собственная производительная база данных FastGraph, а также open-source-технологии стека Hadoop.

Как отмечают в компании, уже собрано более 17 Пбайт плотно связанной между собой неоднородной обезличенной информации. Сервисы платформы применяются в десятках автоматизированных бизнес-процессов Сбера. BI-инструментами и данными платформы пользуется 6,5 тыс. специалистов компании.